Năm 576, kình địch Bắc Chu tiến hành một cuộc tấn công lớn nhằm vào Bắc Tề. Tin tưởng vào lời của những nhà chiêm tinh về điềm báo rằng ngôi vị hoàng đế cần phải thay đổi, Cao Vĩ đã quyết định truyền ngôi lại cho Cao Hằng, và vào mùa xuân năm 577, vị hoàng thái tử nhỏ tuổi đã đăng cơ làm hoàng đế, Cao Vĩ vẫn nắm quyền lực trên thực tế và trở thành Thái thượng hoàng. Tôn phong Hồ thái hậu là Hồ thái hoàng thái hậu, trong khi Mục hoàng hậu trở thành Thái thượng hoàng hậu.

Mùa xuân năm 577, tấn công kinh đô Nghiệp Thành. Bắc Tề sụp đổ. Hoàng tộc Bắc Tề bị Bắc Chu bắt giữ và giải về Trường An.